知识图（kg）嵌入是一种主流方法，用于推理不完整的kg。但是，受其固有浅层和静态体系结构的限制，它们几乎无法处理对复杂逻辑查询的不断上升，这些查询包括逻辑运算符，估算的边缘，多个源实体和未知的中间实体。在这项工作中，我们通过掩盖的预训练和微调策略介绍了知识图变压器（kgtransformer）。我们设计了一种kg三重变换方法，以使变压器能够处理kg，这是通过稀疏（MOE）稀疏激活的混合物进一步增强的。然后，我们将复杂的逻辑查询作为掩盖预测提出，并引入了两阶段掩盖的预训练策略，以提高可转移性和概括性。在两个基准上进行的广泛实验表明，KGTRANSFORMER可以始终超过基于KG的基准和九个内域和室外推理任务的高级编码。此外，KGTRANSFORMER可以通过提供解释给定答案的完整推理路径来解释性。

训练大型神经网络（NN）模型需要广泛的记忆资源，而激活压缩训练（ACT）是减少训练记忆足迹的一种有前途的方法。本文介绍了GACT，这是一个ACT框架，旨在支持具有有限域知识的通用NN体系结构的广泛机器学习任务。通过分析ACT近似梯度的线性化版本，我们证明了GACT的收敛性，而没有有关操作员类型或模型体系结构的先验知识。为了使训练保持稳定，我们提出了一种算法，该算法通过估计运行时对梯度的影响来决定每个张量的压缩比。我们将GACT实施为Pytorch库，很容易适用于任何NN体系结构。GACT将卷积NN，变压器和图形NNS的激活记忆降低到8.1倍，从而使4.2倍至24.7倍的训练能够较大，而精度损失可忽略不计。

近年来，自我监督学习（SSL）已广泛探索。特别是，生成的SSL在自然语言处理和其他AI领域（例如BERT和GPT的广泛采用）中获得了新的成功。尽管如此，对比度学习 - 严重依赖结构数据的增强和复杂的培训策略，这是图SSL的主要方法，而迄今为止，生成SSL在图形上的进度（尤其是GAES）尚未达到潜在的潜力。正如其他领域所承诺的。在本文中，我们确定并检查对GAE的发展产生负面影响的问题，包括其重建目标，训练鲁棒性和错误指标。我们提出了一个蒙版的图形自动编码器Graphmae，该图可以减轻这些问题，以预处理生成性自我监督图。我们建议没有重建图形结构，而是提议通过掩盖策略和缩放余弦误差将重点放在特征重建上，从而使GraphMae的强大训练受益。我们在21个公共数据集上进行了大量实验，以实现三个不同的图形学习任务。结果表明，Graphmae-A简单的图形自动编码器具有仔细的设计-CAN始终在对比度和生成性最新基准相比，始终产生优于性的表现。这项研究提供了对图自动编码器的理解，并证明了在图上的生成自我监督预训练的潜力。

图表神经网络（GNNS）在半监督学习场景中取得了显着的成功。图形神经网络中的消息传递机制有助于未标记的节点收集标记邻居的监督信号。在这项工作中，我们调查了一项广泛采用的半监督学习方法之一的一致性正则化的一致性，可以帮助提高图形神经网络的性能。我们重新审视图形神经网络的两种一致性正则化方法。一个是简单的一致性正则化（SCR），另一个是均值是均值 - 教师一致性正则化（MCR）。我们将一致性正则化方法与两个最先进的GNN结合起来并在OGBN-Products数据集上进行实验。通过一致性正常化，可以在具有和无外数据的OGBN-Products数据集中提高最先进的GNN的性能0.3％。

对图形的对抗攻击对图形机器学习（GML）模型的鲁棒性构成了重大威胁。当然，攻击者和捍卫者之间存在一场易于升级的军备竞赛。但是，在相同和现实的条件下，双方背后的策略往往不相当。为了弥合这一差距，我们展示了Graph稳健性基准（GRB），其目的是为GML模型的对抗鲁棒性提供可扩展，统一，模块化和可重复的评估。 GRB将攻击和防御过程标准化1）开发可扩展和多样化的数据集，2）模块化攻击和防御实现，以及统一精细方案中的评估协议。通过利用GRB管道，最终用户可以专注于具有自动数据处理和实验评估的强大GML模型的开发。为了支持对图形对抗性学习的开放和可重复研究，GRB还遍布不同方案的公共排行榜。作为起点，我们对基准基线技术进行了广泛的实验。 GRB是开放的，欢迎社区的贡献。数据集，代码，排行榜可在https://cogdl.ai/grb/home获得。

Federated Learning (FL) is pervasive in privacy-focused IoT environments since it enables avoiding privacy leakage by training models with gradients instead of data. Recent works show the uploaded gradients can be employed to reconstruct data, i.e., gradient leakage attacks, and several defenses are designed to alleviate the risk by tweaking the gradients. However, these defenses exhibit weak resilience against threatening attacks, as the effectiveness builds upon the unrealistic assumptions that deep neural networks are simplified as linear models. In this paper, without such unrealistic assumptions, we present a novel defense, called Refiner, instead of perturbing gradients, which refines ground-truth data to craft robust data that yields sufficient utility but with the least amount of privacy information, and then the gradients of robust data are uploaded. To craft robust data, Refiner promotes the gradients of critical parameters associated with robust data to close ground-truth ones while leaving the gradients of trivial parameters to safeguard privacy. Moreover, to exploit the gradients of trivial parameters, Refiner utilizes a well-designed evaluation network to steer robust data far away from ground-truth data, thereby alleviating privacy leakage risk. Extensive experiments across multiple benchmark datasets demonstrate the superior defense effectiveness of Refiner at defending against state-of-the-art threats.

Few-shot relation extraction (FSRE) aims at recognizing unseen relations by learning with merely a handful of annotated instances. To generalize to new relations more effectively, this paper proposes a novel pipeline for the FSRE task based on queRy-information guided Attention and adaptive Prototype fuSion, namely RAPS. Specifically, RAPS first derives the relation prototype by the query-information guided attention module, which exploits rich interactive information between the support instances and the query instances, in order to obtain more accurate initial prototype representations. Then RAPS elaborately combines the derived initial prototype with the relation information by the adaptive prototype fusion mechanism to get the integrated prototype for both train and prediction. Experiments on the benchmark dataset FewRel 1.0 show a significant improvement of our method against state-of-the-art methods.

Recent methods for deep metric learning have been focusing on designing different contrastive loss functions between positive and negative pairs of samples so that the learned feature embedding is able to pull positive samples of the same class closer and push negative samples from different classes away from each other. In this work, we recognize that there is a significant semantic gap between features at the intermediate feature layer and class labels at the final output layer. To bridge this gap, we develop a contrastive Bayesian analysis to characterize and model the posterior probabilities of image labels conditioned by their features similarity in a contrastive learning setting. This contrastive Bayesian analysis leads to a new loss function for deep metric learning. To improve the generalization capability of the proposed method onto new classes, we further extend the contrastive Bayesian loss with a metric variance constraint. Our experimental results and ablation studies demonstrate that the proposed contrastive Bayesian metric learning method significantly improves the performance of deep metric learning in both supervised and pseudo-supervised scenarios, outperforming existing methods by a large margin.

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

在不同模型中，对抗性示例（AES）的可传递性对于黑盒对抗攻击至关重要，在黑框对抗攻击中，攻击者无法访问有关黑盒模型的信息。但是，制作的AE总是表现出差的可转移性。在本文中，通过将AES作为模型的概括能力的可传递性，我们揭示了Vanilla Black-Box攻击通过解决最大似然估计（MLE）问题来制作AES。对于MLE，结果可能是特定于模型的本地最佳最佳，当可用数据较小时，即限制了AE的可传递性。相比之下，我们将可转移的AES重新构建为最大化后验概率估计问题，这是一种有效的方法，可以提高结果有限的结果的概括。由于贝叶斯后推断通常很棘手，因此开发了一种简单而有效的方法称为MaskBlock以近似估计。此外，我们表明该配方框架是各种攻击方法的概括版本。广泛的实验说明了面具可以显着提高制作的对抗性例子的可转移性，最多可以提高20％。